上交大o1复现新突破:蒸馏超越原版,警示AI研发"捷径陷阱"
上交大o1复现新突破:蒸馏超越原版,警示AI研发"捷径陷阱"自从 OpenAI 发布展现出前所未有复杂推理能力的 o1 系列模型以来,全球掀起了一场 AI 能力 “复现” 竞赛。近日,上海交通大学 GAIR 研究团队在 o1 模型复现过程中取得新的突破,通过简单的知识蒸馏方法,团队成功使基础模型在数学推理能力上超越 o1-preview。
自从 OpenAI 发布展现出前所未有复杂推理能力的 o1 系列模型以来,全球掀起了一场 AI 能力 “复现” 竞赛。近日,上海交通大学 GAIR 研究团队在 o1 模型复现过程中取得新的突破,通过简单的知识蒸馏方法,团队成功使基础模型在数学推理能力上超越 o1-preview。
据全球知名创投研究机构 CB Insights 发布的统计数据显示,2024 年第三季度,接近 1/3(31%)的风险投资流入了 AI 初创企业。另根据 Crunchbase 的数据,AI 公司在 2024 年第三季度筹集了 190 亿美元,占所有风险投资的 28%。2024 年第三季度还完成了有史以来最大的风险投资交易:OpenAI 募集了 66 亿美元的巨额资金。
11月16日,陷入前投资人仲裁风波的主角杨植麟突然出现,并对外发布了一款数学模型。 杨植麟将自己的数学模型k0-math对标OpenAI o1系列,主打深入思考。
新的大语言模型(LLM)评估基准对于跟上大语言模型的快速发展至关重要。
如何解决模型生成幻觉一直是人工智能(AI)领域的一个悬而未解的问题。为了测量语言模型的事实正确性,近期 OpenAI 发布并开源了一个名为 SimpleQA 的评测集。而我们也同样一直在关注模型事实正确性这一领域,目前该领域存在数据过时、评测不准和覆盖不全等问题。例如现在大家广泛使用的知识评测集还是 CommonSenseQA、CMMLU 和 C-Eval 等选择题形式的评测集。
算起来,距离 5 月 14 日 OpenAI 发布 GPT-4o 高级语音模式已经过去了半年时间。在这期间,AI 实时语音对话已经成为了有能力大厂秀肌肉、拼实力的新战场。
11月4日,OpenAI CEO Sam Altman(以下称“Altman”)在“The Twenty Minute VC”播客中回答了这些问题,他明确表示,提升推理能力一直是OpenAI的核心战略。
自我纠错(Self Correction)能力,传统上被视为人类特有的特征,正越来越多地在人工智能领域,尤其是大型语言模型(LLMs)中得到广泛应用,最近爆火的OpenAI o1模型[1]和Reflection 70B模型[2]都采取了自我纠正的方法。
今年,OpenAI 可以说是大事不断:内斗、离职等等一系列事件吸引着大家的眼球。 其中,OpenAI 与马斯克的诉讼、纠纷也一直备受大家关注。
OpenAI 在周三由美国战略与国际研究中心在华盛顿特区主办的一次活动上公开了其最新的政策蓝图。